Efficient Test-Time Adaptation through Human-AI Interaction
通过人机交互进行高效测试时自适应
🧭 Agent 个性化与测试时自适应
Carnegie Mellon University · University of Washington · Handshake AI · Stanford University · Princeton University
利用跨会话人机交互信号在测试时适配个体 Agent，写作与视觉创作任务成功率提升 4.5–20.9%，演化 rubric 可多捕获 16–22.3% 失败
📌 工作参考价值（4 点）
- 用跨会话交互数据做在线个性化：电商对话式导购/客服 Agent 可维护用户历史反馈，在推理时动态注入 context 或更新轻量权重，实现低成本的个性化，尤其适合长尾用户。
- 演化 rubric 模块可作为偏好对齐工具：将用户对推荐解释、商品描述、广告文案的反复反馈提炼为可进化的评价标准，既可作为奖励/过滤信号，也可用于自动标注失败案例，减少人工评审成本；论文显示比单用 LM 或人工能多捕获 16-22% 失败。
- 个性化策略具备跨用户迁移能力：即使目标是个人化，TAHI 训练的个性化策略也能提升其他用户最高 8.8%，提示可构建共享的“个性化底座”，通过少量交互迁移到新用户，缓解冷启动。
- 在生成式推荐场景，可将用户反复指出的标准显式化为 rubric 并注入 prompt 或评分器，实现可解释的偏好对齐与可控生成。